Rõivas gia nhập Đảng Cải cách Estonia vào năm 1998. Ông bắt đầu sự nghiệp chính trị của mình với vai trò là cố vấn cho Bộ trưởng Bộ Tư pháp Mart Rask từ năm 1999 đến 2002.[7] Ông là thị trưởng của quận Haabersti của Tallinn từ năm 2004 đến năm 2005 và làm cố vấn cho Bộ trưởng Bộ Nội vụ Dân số Paul-Eerik Rummo từ năm 2003 đến năm 2004. Năm 2005, ông trở thành cố vấn cho Thủ tướng Chính phủ và lãnh đạo Đảng Cải cách Andrus Ansip. Ông được bầu vào hội đồng thành phố Tallinn năm 2005 và Riigikogu vào năm 2007 và một lần thứ hai vào năm 2011.

Tháng 12 năm 2012, Rõivas trở thành thành viên trẻ nhất của chính phủ với vai trò Bộ trưởng Bộ Xã hội, thay thế cho Hanno Pevkur. Pevkur cũng thay thế cho Bộ trưởng Bộ Tư pháp, Kristen Michal. Tháng 2 năm 2014, lãnh đạo Đảng Cải cách Estonia chọn Rõivas làm ứng cử viên cho chức vụ thủ tướng.[8]